Whittaker kết hôn với nhà sinh hóa học Clara Buehl, một đồng nghiệp tại phòng thí nghiệm Hanford, vào năm 1952. Các con của họ là John Whittaker (sinh năm 1953, là Giáo sư nhân chủng học tại Grinnell College), Paul Whittaker (sinh năm 1955, trước là nhà sinh thái học/ côn trùng học, nay là nghệ sĩ trừu tượng và nhiếp ảnh gia tại Evanston, Illinois) và Carl Whittaker (sinh năm 1957, họa sĩ minh họa lịch sử tự nhiên và là đầu bếp chuyên nghiệp tại Ithaca, New York). Clara được chẩn đoán mắc bệnh ung thư năm 1972, sức khỏe bà xấu đi và qua đời vào ngày 31/12/1976. Whittaker kết hôn với nữ sinh mới tốt nghiệp, Linda Olsvig, năm 1979. Nhưng ông được chẩn đoán mắc bệnh ung thư phổi và qua đời vào ngày 20/10/1980.